Дом 12 на Пятницкой присоединился к музею в 1981 году. Здание является памятником архитектуры конца XVIII века (возведено в 1789–1795 гг.) и примечательно тем, что входило в ряд строений, одно из которых в 1857–1858 годах снимал молодой Толстой, вернувшийся с Крымской войны. К тому времени он уже был известным писателем. Лев Николаевич жил там с сестрой Марией Николаевной, ее детьми – Верой, Лизой, Николаем и братом Сергеем Николаевичем. Жизнь в Замоскворечье сблизила Толстого с А. Н. Островским, А. А. Фетом. Бывали у Толстого на Пятницкой М. Е. Салтыков-Щедрин, Б. Н. Чичерин, братья Аксаковы. Здесь писатель напряженно работал над «Казаками», рассказами «Погибший» («Альберт»), «Три смерти».

В Толстовском центре на Пятницкой проходят крупные тематические и фондовые выставки из собраний музея, детские музейные программы, вечера-встречи с деятелями культуры, концерты.